Joint modelling of brain and behaviour dynamics with artificial intelligence｜Nature Reviews Neuroscience（2025）
Mackenzie Weygandt Mathis Alexander Mathis
DOI: https://doi.org/10.1038/s41583-025-00996-1
機械学習(Machine Learning; ML)における重要な要素
データセット(dataset)
モデル(model)
損失関数(Loss function)
最適化アルゴリズム(optimization algorithm)
神経活動と行動の解析にメジャーなモデルは、
MLP
畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)
リカレントニューラルネットワーク(Recurrent Neural Network; RNN)
Transformer
状態空間モデル(State Space Model; SSM)
これらは適切なモデル設定(パラメタ)とデータがあれば、万能近似ができる
モデルの選択は科学的な目的に即して選ぶ必要がある
Naa_tsure.iconパフォーマンスが高くても、生物学的にあり得ない変換をしているのであれば、そのモデルから生物が行っている計算についてのヒントは得られない
一方でBCIなどの目的であればこのモデルは役にたつ
例えば、
engineering performance
BCIなど、パフォーマンスが必要な場合
mechanistic insight
そのシステムが実際に行なっている計算について知りたい場合
hypothesis testing
仮説を検証に使う場合
open-ended discovery
データの探索がしたい場合
神経活動と行動のモデル解析を行う３つのアプローチ
discriminative approaches
識別モデル(Discriminative model)
特にTransformerが複雑な時系列の依存関係に適している
しかし、大規模なモデルのトレーニングはほとんどラボでは実現不可
現実的にはタスクによっては同等の性能を出せる軽いRNNとかMLP
Dissociative and prioritized modeling of behaviorally relevant neural dynamics using recurrent neural networks｜Nature Neuroscience（2024）
generative approaches
生成モデル（Generative models）
変分オートエンコーダー(Variational Autoencoder: VAE)
データからの潜在表現(latent representation)の推論
潜在表現(latent representation)からデータの再構築
ただ、再構築のために最適化された潜在表現(latent representation)が、実際の自然データにおける結びつきと同じである保証はない
再構成誤差の測り方は人間によって決められてしまう
これが本当の生物学的に意味のある距離の測り方かは怪しい
Naa_tsure.icon例えば、データのノイズを頑張って再現する方が点数が高くなったりしていると、あまり意味のない潜在表現になる
constrasive approaches
対象学習(Contrastive Learning; CL)
潜在表現をデータ自体の関連度に応じて学習する
再構築を必要としないので、再構成誤差の測り方問題は発生しない
現在の問題点としては、どのように時間ビンを決めるのが良いか？
Naa_tsure.icon階層的な時間ビンへ拡張することで解決されるかも
基盤モデル(Foundation model)
自己教師あり学習(Self-Supervised Learning; SSL)
Foundation model of neural activity predicts response to new stimulus types｜Nature（2025）
結合潜在表現(joint latent representations)
大規模言語モデル(Large Langage Model; LLM)の視覚(vision)と言語(language)
視覚-言語モデル(vision-language models; VLMs)
Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond｜arXiv（2023）
Naa_tsure.icon将来的に神経科学はこのようなモデルを使っていく？
スパイクや行動のでコーディング精度でのモデルの評価は十分ではないかも
機械的解釈可能性(mechanistic interpretability)に注目すべき
consistency：
異なる初期値やデータサブセットでも同様の結果が得られるか？
identifiability：
異なるセッション、個体間で潜在表現が類似しているか？
潜在表現同士を簡単な変換のみで合わせることができるのか？
robustness
ノイズや摂動にどれくらい強いか？
現実に近い環境に耐えうるか？